Een oorkonde van de gemeente Hove getuigt dat het kasteel al bestond in de 13de eeuw met als eigenaar ridder Goswin Bok, een grootgrondbezitter die een vooraanstaande rol speelde aan het hof van de hertogen van Brabant. Ridder Goswin Bok verkoopt het goed in 1270 aan een geestelijke instelling, de Duitse orde van Pitzenburg, een instelling die oorspronkelijk de ridders verzorgde die naar het Heilig Land trokken bij de kruistochten. In 1473 kwam het domein in bezit van Pieter Pot, de beroemde stichter van de Pieter Potabdij te Antwerpen.
In 1793 werd het kasteeldomein bij openbare verkoop toegewezen aan Helena-Maria Geelhand. Met de komst van deze vijfendertigjarige kasteelvrouw bleef het domein met zijn classicistisch kasteel in bezit van deze familie tot in 1951. Tijdens de Tweede Wereldoorlog werd het kasteel bezet door Duitse militairen. Na de oorlog deed het tijdelijk dienst als tehuis voor zwakke kinderen. Op 26 april 1951 koopt het gemeentebestuur het domein Weyninckhoven aan van de familie Geelhand en werd het omgebouwd tot gemeentehuis dat sinds 1981 is beschermd als dorpsgezicht.